MLP: Векторная математика и активация (ReLU)
Следующий шаг
Сброс
Вход
(Размер 3)
2
-1
1
Скрытый слой W1
(Размер 12)
-5
-2
8
-1
-4
-3
6
-7
-2
5
-1
-8
Выход W2
(Размер 3)
4
3
2
Активация: ReLU(x) = max(0, x)
Итог: Координаты слова ПАРИЖ
Шаг 0:
Контекст собран! Вектор [Столица] + [Франция] дал нам итоговый входной запрос:
[2, -1, 1]
.